La composition symbolique du modèle permet de définir:
- Ses entrants et les variables réponse
- Sa structure
- Sa fonction objective (RMSE, MAE, Softmax, …)
data<- mx.symbol.Variable(name = "data") final<- mx.symbol.FullyConnected(data=data, num_hidden=1, name = "final") perte<- mx.symbol.LinearRegressionOutput(data=final, name = "perte_lineaire")
Aucun calcul n'est réalisé à cette étape. Seule la structure du modèle est définie afin de déterminer les dépendances de calculs aux fins d'optimisation de l'exécution et la gestion de la mémoire.
data<- mx.symbol.Variable(name = "data") fc1<- mx.symbol.FullyConnected(data=data, num_hidden=4, name = "fc_1") act1<- mx.symbol.Activation(data=fc1, act_type="relu", name = "act_1") final<- mx.symbol.FullyConnected(data=act1, num_hidden=1, name = "final") perte<- mx.symbol.LinearRegressionOutput(data=final, name = "perte_lineaire")
Une fois la structure du modèle définie, il reste à définir les composantes qui permettront à l'algorithme de s'exécuter sur les données réelles.
Itérateur de données: module dont l'exécution renvoie les données entrantes les variables réponse.
Optimiseur: module qui définit la façon dont les paramètres sont mis à jour à chaque itération.
Exécuteur: instance qui exécute les calculs. Il peut y en avoir un seul (CPU) ou plusieurs (multi-GPU).
La tâche de l'itérateur est de fournir aux exécuteurs les données nécessaires aux calculs pour chacune des itérations sur les mini-batch.
Les itérateurs pré-définis sont:
Des itérateurs personnalisés peuvent être construits directement en R, leur performance dépend des fonctionnalités sous-jacentes.
À noter que l'utilisation d'itérateurs sur des CSV ou images permet d'éviter la contrainte de charger la totalité des données en mémoire.
Crédit: Sebastian Ruder
Crédit: mxnet.io
Boston dataset?
Une collection de modèles est disponible dans le zoo
Un utilitaire existe également pour convertir des modèles développés sous Caffe.
Exemple: Chat vs Chien avec Resnet Microsoft 2015
Adversial model
Reinforcement learning